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Аннотация 

В статье проведен анализ подходов к мониторингу и оценке 
результативности деятельности научных организаций в Российской 
Федерации и за рубежом. Рассмотрен опыт оценки результативности 
деятельности научных организаций и ученых в странах Европейского 
союза, США и Китая. Анализ зарубежного опыта показал, что в насто- 
ящее время проводится активное реформирование подходов к оценке 
результативности научной и научно-технической деятельности, кото- 
рое базируется: на переходе от количественного анализа наукометри- 
ческих показателей к качественной оценке результатов исследований 
и разработок; оценке социального эффекта от этих результатов; со- 
четании внутреннего и внешнего аудита результативности научной 
деятельности; переходе к системе бюджетирования, построенной на 
основе учета результативности деятельности. Подробно рассмотрена 
применяемая в Китае в рамках системы оценки результативности де- 
ятельности научных организаций система диагностирования хода ре- 
ализации принципа государственной научно-технической политики, 
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носящего название «Один-три-пять». 

Выявлены проблемы действующей в РФ системы мониторинга и 
оценки результативности научной деятельности, которые большей 
частью обусловлены недоработками в методическом обеспечении 
сбора и анализа данных о результативности деятельности научных 
организаций, несвязностью систем экспертного и наукометрического 
оценивания и возрастающей бюрократической нагрузкой на органи- 
зации. Сделан вывод о том, что для развития в РФ системы оценки ре- 
зультативности научной и научно-технической деятельности следует 
решить следующие задачи: определить место и роль информацион- 
ных систем в системе государственного управления научно-техничес- 
кой политикой, создать систему целеполагания для научных органи- 
заций и сформировать эффективный механизм сбора данных о науч- 
ной деятельности. Авторы полагают, что обязательным элементом 
системы оценки должна стать квалифицированная экспертиза, осу- 
ществляемая с опорой на количественные показатели и рассчитанные 
на их основе индикаторы. 


Ключевые слова 
Результативность научной деятельности, государственная научно- 
техническая политика, информационные системы в сфере науки 
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Введение 


В условиях ограниченных бюджетных денежных средств, кото- 
рые государство выделяет на финансирование научной и научно- 
технической деятельности, вопросы их эффективного распределения 
и использования выходят на первый план. Вполне естественно, что 
для выработки и принятия обоснованных решений в области управ- 
ления научной и научно-технической деятельностью необходимо 
проведение как мониторинга и оценки результативности деятельнос- 
ти научных организаций, так и оценки результатов научных направле- 
ний и науки в целом. Управление наукой на уровне организаций так- 
же не может быть осуществлено без эффективной системы монито- 
ринга и оценки, которая предоставляла бы возможность организаци- 
ям проводить самооценку и позиционирование себя и своих работ на 
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национальном уровне. 

В Российской Федерации в целях мониторинга и оценки результа- 
тивности научной, научно-технической деятельности используются 
две системы: Федеральная система мониторинга результативности 
деятельности научных организаций, выполняющих научно-иссле- 
довательские, опытно-конструкторские и технологические рабо- 
ты гражданского назначения (ФСМНО), и Единая государственная 
информационная система учета научно-исследовательских, опытно- 
конструкторских и технологических работ гражданского назначения 
(ЕГИСУ НИОКТР). 

В настоящее время основной задачей ФСМНО и ЕГИСУ НИОКТР 
является оптимизация сети научных организаций, но этого недоста- 
точно для достижения целей построения эффективной системы ор- 
ганизации исследований и разработок. Оценивание — непрерывный 
процесс, который должен быть интегрирован в систему государствен- 
ного управления. Для решения задач эффективного управления на- 
учной и научно-технической деятельностью во многих странах мира 
внедряют различные системы оценки результативности научной дея- 
тельности, которые на национальном уровне позволяют выявлять ве- 
дущие центры развития науки и технологий, грамотно распределять 
бюджетное финансирование и выделять приоритетные направления 
развития, а на уровне организаций — определять наиболее перспек- 
тивные тематики исследований и коллективы, способные их про- 
вести с максимальной результативностью; осуществлять анализ науч- 
ной деятельности как других организаций, так и своей. Что касается 
применяемых в России методов мониторинга и оценки результатив- 
ности научных организаций, то они требуют дальнейшего развития. 


Зарубежный опыт оценки результативности деятельности 
научных организаций и ученых 


Большинство стран Европейского союза (ЕС) перешли либо пе- 
реходят на системы финансирования исследований и разработок, 
построенные на основе учета результативности деятельности науч- 
ных организаций, то есть системы бюджетирования на основе ре- 
зультативности деятельности (Кезеагсь Регогтапсе Вазеа Еип4 те, 
БОР). Данные системы предполагают введение элементов контроля 
за эффективностью расходования бюджетных средств на НИОКР еще 
на стадии распределения финансов между научными организациями: 
организации, имеющие лучшие показатели результативности, полу- 
чают пропорционально больше государственных субсидий. При этом 
стоит отметить, что системы финансирования, основанные на учете 
результатов исследований, различаются по своему характеру с точки 
зрения подходов к оценке эффективности деятельности научных ор- 
ганизаций. Так, многие страны используют количественный подход, 
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частично или полностью базирующийся на различных комбинациях 
наукометрических показателей; другие — опираются на экспертную 
оценку. Эксперты, в свою очередь, при оценке результативности так- 
же могут учитывать количественные показатели (рисунок 1). Следует 
сказать, что такие системы бюджетирования работают не только на 
уровне государств, но и на уровне самих организаций (университеты 
могут руководствоваться показателями результативности при распре- 
делении средств между факультетами). 


Бюджетирование, 
основанное на 
результатах 
деятельности 


Экспертная оценка, 
подкрепленная Оценка, основанная 
данными на количественных 
количественных (наукометрических) 
(наукометрических) показателях 
показателей 


Экспертная оценка 





Рисунок 1. Системы финансирования исследований и разработок, 
основанные на результативности деятельности научных организаций 


Таким образом, к БОР нельзя отнести распределение бюджетных 
средств научным организациям, проводимое по историческим или 
политическим соображениям (например, финансирование единст- 
венного в регионе университета несмотря на его слабые показатели 
результативности). Сюда не стоит относить и проектное финансиро- 
вание, осуществляемое на конкурсной основе через различные гран- 
товые программы, так как в этом случае при распределении средств 
проводится экспертиза заявки, а не результатов НИОКР (хотя преды- 
дущие научные заслуги исполнителей проектов могут учитываться). 

Говоря об измерении продуктивности отдельных ученых, следует 
отметить, что на государственном уровне в ЕС никаких общеприня- 
тых показателей в данной области не используется. Тем не менее от- 
дельно взятые университеты и научные учреждения могут оценивать 
эффективность работы своих научных сотрудников по самым раз- 
личным показателям (например, количество публикаций или индекс 
Хирша). 

Основными преимуществами БОР считается повышение качества 
научных исследований, возникающее благодаря внесению соревнова- 
тельного элемента в процесс распределения средств, и концентрация 
ресурсов в сильнейших организациях. 

В то же время система БОР не раз подвергалась критике. К 
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основным недостаткам системы относятся: 

— стимулирование нежелательных стратегий научной деятель- 
ности (искусственное дробление целостного научного труда 
на множество публикаций, самоцитирование, «накручивание» 
индекса Хирша и пр.); 

— поощрение краткосрочных проектов с быстрыми результата- 
ми в ущерб долгосрочным и рискованным исследованиям, а 
также вложениям в научную инфраструктуру; 

— в некоторых случаях системы БОР, основанные на наукомет- 
рических показателях, ставят определенные отрасли науки 
в более выгодное положение (например, исследователям в 
области медицины легче опубликовать результаты своих 
трудов в международном журнале с высоким импакт-факто- 
ром, чем исследователям, занимающимся местной историей); 

— системы БОР, основанные на экспертной оценке, часто воспри- 
нимаются как субъективные и уязвимые для коррупционных 
схем. 

Среди чаще всего используемых показателей научной результатив- 
ности УИ можно выделить: 

количество присужденных сотрудникам научных степеней; 

— библиометрические показатели; 

— количество внебюджетных средств на НИОКР, привлеченных 
научной организацией от бизнес-партнеров; 

— проектное финансирование, полученное научной организаци- 
ей на конкурсной основе; 

— количество зарегистрированных патентов (в некоторых стра- 
нах ЕС учитываются только международные патенты); 

— Участие научной организации в международных исследова- 
тельских проектах. 

Библиометрические показатели делятся на три категории. Пер- 
вая — число публикаций. Так как простой подсчет публикаций, содер- 
жащихся в базах данных, не является достаточным для определения 
качества научных исследований, часто публикации оцениваются на 
основе влиятельности журнала, в котором они были опубликованы. 
Для этого либо используется импакт-фактор журнала (вторая кате- 
гория библиографических показателей), либо журналы оцениваются 
национальными экспертными комиссиями и создаются специальные 
списки с градацией научных журналов по их качеству (например, в 
Дании существует описанная практика составления списков). Треть- 
ей категорией библиографических показателей являются индексы ци- 
тируемости, которые также могут быть нормализованы по областям 
науки. 

Некоторые страны ЕС (Великобритания, Франция) при оценке ре- 
зультативности научной деятельности организаций используют пока- 
затели, характеризующие социально-экономическое значение иссле- 
дований. 
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Все указанные показатели, только на учете которых построены 
некоторые системы БОР, могут использоваться также и в системах, 
где применяется экспертная оценка эффективности деятельности 
научных организаций. Однако при такой оценке эти показатели, как 
правило, носят справочный характер, а окончательное решение об 
оценке выносится экспертным советом. 

В государствах Евросоюза внедрение системы БОР является од- 
ним из центральных механизмов повышения эффективности иссле- 
дований [2]. Несмотря на это, в некоторых странах ЕС схема БОР не 
утвердилась в чистом виде, но используется либо в отдельных реги- 
онах, либо для организаций определенного типа. Например, в Герма- 
нии, где традиционно сложилась особая система организации науки, 
при которой весомую часть финансовых обязательств обеспечения 
научной деятельности берут на себя федеральные земли, дотации из 
центрального бюджета предоставляются преимущественно институ- 
там и группам ученых, работающим над проектами национальной 
значимости. Вузы Германии, финансирование которых почти на 80% 
осуществляется из местного бюджета, оказываются в зависимости 
от тех правил, которые приняты в каждой из территорий, а значит, в 
разных условиях. Как показывают исследования [3], пересмотр схем 
финансирования происходит регулярно, но все же несколько регио- 
нов Германии так и не приняли схему БОР. В Австрии система расп- 
ределения финансирования на исследования, проводимые в вузах, 
учитывает лишь показатель защищенных диссертаций и игнорирует 
остальные показатели результативности, хотя в планах уже обозначе- 
ны приоритеты введения БОР. 

Странами ЕС, не использующими данную систему, являются: 
Греция, Ирландия, Кипр, Мальта, Словения, Люксембург, Венгрия, 
Болгария, Румыния' и в определенной степени Испания". В случае с 
Мальтой, Люксембургом, Кипром и Словенией это объясняется малы- 
ми размерами государств (так, в Люксембурге и на Мальте действу- 
ет всего по одному университету). В других случаях это объясняется 
сильным сопротивлением нововведениям со стороны академического 
сообщества (что особенно характерно для Греции) [4, р. 18]. 

В условиях существования глобальной тенденции, которая заклю- 
чается в увеличении доли БОР в общем объеме государственного 
финансирования научных исследований, в некоторых государствах 
уже оценены результаты функционирования этой схемы. Основным 
положительным итогом введения БОР следует считать существен- 
ный рост национальных показателей результативности. Например, в 





`В Венгрии, Болгарии и Румынии происходит переход к системе БОР. 
?В Испании вопросы финансирования науки находятся в ведении региональных 
властей. В некоторых регионах (например, в Каталонии) система БОР введена. 

) 


Наука. Инновации. Образование 2018 № 1 (27) 


72 А. Б. Гусев и др. 


Норвегии за 8 лет функционирования системы БОР произошло почти 
двукратное увеличение публикационных баллов, которые присужда- 
ются за статьи и монографии [5]. На примере Италии также была под- 
тверждена гипотеза о положительной корреляции между введением 
системы БОР и ростом продуктивности ученых [6]. Однако в Чехии 
опыт внедрения схемы БОР был противоречив. В данной стране на 
ранних этапах функционирования схемы был отмечен стремитель- 
ный рост числа публикаций в \\еБ оЁ 5чепсе и количества заявок на 
патенты [7]. Однако в дальнейшем применение БОР исключительно 
на основе наукометрических данных привело к нарушению стабиль- 
ности организаций, навредив некоторым длительным исследователь- 
ским проектам. В итоге доля средств, распределяемых через БОР, 
была резко снижена, поскольку сам механизм оценки научной дея- 
тельности посредством БОР, основанного на учете наукометрических 
показателей, потребовал доработки [8]. 

В таблице 1 представлены методы и показатели, по которым в стра- 
нах ЕС оценивают результативность деятельности научных организа- 
ций. Страны разбиты на 4 группы: без системы БОР; с ограниченными 
системами БОР; с системами БОР, основанными на количест- 
венных показателях; с системами БОР, основанными на экспертной 
оценке. В таблице также отмечены страны, в которых системы БОР 
предполагают подписание эффективных контрактов (регогтапсе 
сопгас!) между организациями и министерством-учредителем. Этими 
контактами предусмотрено выполнение научной организацией опре- 
деленных обязательных целевых показателей научной результатив- 
ности в установленный министерством срок. 

Стоит отметить, что наличие в системе БОР большого числа пока- 
зателей результативности деятельности научных организаций не яв- 
ляется обязательным свидетельством развитости этой схемы. Так, 
в Великобритании эффективность научных учреждений оценивается 
экспертным советом (Кезеагсв ЕхсеПепсе Егате\уотК) с привлечением 
минимального количества библиографических показателей, которые 
носят справочный характер. При этом система БОР в Великобрита- 
нии — старейшая в Европе (действует с 1986 г.) и считается весьма 
успешной. 

За пределами Европы ярким примером использования смешанной 
системы БОР является китайская система оценки, характеризующаяся 
тем, что недостатки наукометрических подходов балансируются в ней 
различными вариациями экспертных методов. В Китайской Народ- 
ной Республике (КНР) единая и централизованная государственная 
оценка результативности деятельности научных организаций, прово- 
димая по всем ведомствам, не осуществляется. Каждое из китайских 
министерств и ведомств, имеющих в своем подчинении организа- 
ции, которые выполняют НИОКР, проводит свою собственную ве- 
домственную оценку научной производительности этих организаций. 
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Значительно реже и, как правило, в разовом порядке производится 
взаимная перекрестная оценка результативности научной деятель- 
ности организаций, принадлежащих к разным ведомствам [9, р. 484]. 
Другая особенность китайской национальной системы оценки — ее 
исключительная закрытость, в том числе для самих китайских граж- 
дан. Как правило, результаты оценки являются информацией служеб- 
ного пользования и доступ к ней посторонних лиц затруднен. 

Ключевыми организаторами проведения оценок научной произ- 
водительности организаций являются Министерство науки и техно- 
логий Китая (Миннауки Китая) и Китайская академия наук (КАН). 
Миннауки Китая — главный государственный орган, отвечающий за 
проведение научно-исследовательских программы в КНР. При Мин- 
науки Китая создан отдельный научно-исследовательский институт — 
Национальный центр оценки науки и технологий (НЦОНТ), который 
специализируется на оценке научных программ. По последним дан- 
ным, в нем работают более 100 сотрудников, также поддерживается 
связь с более чем 5 000 внешних экспертов. НЦОНТ проводит оценку 
в следующих областях: 

— оценка национальных стратегий, связанных с НИОКР (выпол- 
нение задач, сопряженных с проведением с НИОКР, в пятилет- 
них планах и национальной стратегии), и национальных прог- 
рамм НИОКР (Программа 973, Программа 863); 

— оценка регулирования политики в области: науки и техники, 
бюджетов национальных программ исследований и разрабо- 
ток; 

— “оценка деятельности научно-исследовательских учреждений и 
т. д. [10]. 

Важным достижением НЦОНТ считается разработка методичес- 
ких рекомендаций по оценке: НЦОНТ подготовил национальные 
стандарты оценки, опубликованные в 2001 году и утвержденные 
Миннауки Китая. Этот документ содержит основные определения 
концепции оценки; по большей части он похож на международные 
стандарты (объективные критерии, критерии производительности, 
эффективности, влияния ит. д.). В документе определен набор проце- 
дур и рекомендаций по методологии и инструментам оценки, указаны 
правила поведения экспертов и описан порядок их взаимодействия с 
оценочными органами. 

Особенностью методов оценки, разработанных НЦОНТ, является 
то, что проекты оцениваются путем использования различных спо- 
собов оценивания: предварительной оценки (ех аще); оценки в ходе 
реализации проекта (п А-егит); оценки по фактическим результатам 
(ех ро$®. 

Всего НЦОНТ рекомендует использовать три основных метода 
оценки по отдельности или в комбинации: 

— экспертная оценка, осуществляемая либо в виде только 
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стандартной научной экспертной оценки, в ходе которой всегда ис- 
пользуется тип оценивания ех аще, либо в виде смешанной эксперт- 
ной оценки, которой учитывается социально-экономическая польза 
от реализации проекта (иногда также применяются типы оценивания 
ех ап, ех ро$(); 

— тип оценивания ех ро, который используется при оценке тема- 
тических исследований; 

— оценки по показателям эффективности, рассматриваемые, как 
правило, в рамках многокритериальных подходов, основанных на 
балльной системе. 

В рекомендациях НЦОНТ по оценке научной продуктивности 
предусматривается получение обратной связи от оцениваемых орга- 
низаций, в том числе в виде семинаров, проведения опросов участ- 
ников проекта. Следует сказать о том, что если при использовании 
типа оценивания ех роз выявляется неполное соответствие реальных 
результатов заявленным целям оцениваемого проекта (программы), 
то это не считается нарушением [9]. 

В открытых источниках нет информации о том, что НЦОНТ реали- 
зует какую-либо системную и централизованную оценку результатив- 
ности деятельности подведомственных Миннауки Китая организаций 
или разрабатывает методы проведения такой оценки. В публикациях 
китайских авторов отмечается, что, например, в отношении вузов 
Проекта 211, на которые приходится львиная доля государственных 
инвестиций и научных результатов, не проводится комплексное цент- 
рализованное оценивание научных результатов (речь идет об оценке 
именно научной производительности, а не деятельности образова- 
тельной организации в целом) [11, р. 5]. 

В отличие от Миннауки Китая, КАН с 1990-х годов проводит выст- 
раивание системной оценки результативности деятельности подве- 
домственных организаций. В противоположность Российской ака- 
демии наук в ее нынешнем виде, КАН является одним из ведущих 
ведомств в КНР по выработке государственной научно-технической 
политики. Более того, применяемая КАН система оценки стала счи- 
таться эталонной и используется другими китайскими ведомствами. 

В системе КАН на данный момент 104 научно-исследовательских 
института, 12 отраслевых академий и 3 университета. Официальные 
документы (инструкции) по проведению оценки, а также результаты 
самой оценки, как принято в Китае, являются закрытой информаци- 
ей, и доступ к ней лиц не из системы КАН затруднен. Вместе с тем 
в публикациях китайских авторов приведено достаточно подробное 
описание подходов, используемых в системе оценки научной резуль- 
тативности подведомственных КАН организаций. 

Действующая на сегодняшний день модель оценки научной де- 
ятельности подведомственных КАН организаций была внедрена в 
период 2011-2013 годов. Появление данной модели было обуслов- 
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лено принятием новых концептуальных документов стратегического 
развития науки и инноваций, прежде всего — стратегии развития 
КАН «Инновации 2020». Эта стратегия предусматривает в рамках 
двенадцатого пятилетнего плана развития Китая ключевой вклад 
академического сектора в научный и технологический прогресс, в 
экономическое и социальное развитие и в национальную безопас- 
НОСТЬ. 

В указанной стратегии был провозглашен новый принцип госу- 
дарственной научно-технической политики — «Один-три-пять»: одно 
позиционирование — три основных прорыва — пять потенциальных 
направлений. Первой составляющей принципа — «Одно позициони- 
рование» — предполагается, что каждый научно-исследовательский 
институт должен специализироваться на своем поле исследований, 
культивировать свои уникальные особенности и ключевые компе- 
тенции, занять свою нишу, признаваемую на международной арене, 
и всячески избегать слияния (пересечения деятельности) с други- 
ми институтами КАН. Следующая составляющая принципа — «Три 
основных прорыва» — подразумевает три основных стратегически 
важных инновационных достижения, которых институт обязуется 
добиться в следующие 5-10 лет. Каждый научно-исследовательский 
институт должен предлагать не более трех таких прорывов. Послед- 
няя составляющая принципа — «Пять потенциальных направлений» — 
призвана обеспечить выявление новых научно-исследовательских 
приоритетов, уникальных возможностей, будущих конкурентных 
преимуществ; определить потенциальные прорывы. Подразумевает- 
ся, что каждый научно-исследовательский институт выявляет и пред- 
ставляет не более пяти таких потенциальных направлений. 

В связи с началом реализации вышеизложенной концепции, КАН 
сформировала новую систему оценки - систему, ориентированную на 
результат проводимых НИОКР. Данная система включает в себя 
три процесса: диагностическую оценку экспертов, которая про- 
водится раз в 5 лет (диагностирование хода реализации принципа 
«Один-три-пять», в первый раз продолжалась более 2 лет: в течение 
2013—2015 гг.); оценку научной производительности подведом- 
ственных КАН институтов на периодической основе (также раз 
в 5 лет); ежегодный мониторинг ключевых показателей эффектив- 
ности (ТВе Кеу реогтапсе шФ1саюг$ — КРГ), проводимый с целью 
наблюдения за текущей научной производительностью подведом- 
ственных институтов и отслеживания ее динамики. На рисунке 2 
представлена общая схема системы оценки научной результатив- 
ности подведомственных КАН организаций, реализуемая с 2011 года 
по настоящее время. 
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Схема системы оценки институтов КАН, 2011-2015 гг. 


Составляющие Разделы оценки Цель 


В 2015 г. 


Оценка научной 
Ц у Стимулирование Разработка 
производительности появления мероприятий 
и раздела научных 


достижений 
В период 2013—2015 гг. 


Экспертное 
диагностирование 
реализации принципа 
«Один-три-пять» 


Совершенствование Диагностиро- 
управления научной вание 
организацией 


Ежегодно 


Базовая Мониторинг ключевых Мониторинг 


оценка показателей оперативной 


организации ситуации 


Мониторинг 





Периодичность общей оценки: раз в 5 лет 





Рисунок 2. Общая схема системы оценки научной результативности 
подведомственных КАН организаций, реализуемая 
с 2011 года по настоящее время* 


* Перевод оригинального рисунка из [12]. 


В рамках экспертного диагностирования хода реализации прин- 
ципа «Один-три-пять» приглашаются международные эксперты с 
целью оценки статуса научной организации, ее преимуществ и не- 
достатков, а также оценки качества научно-исследовательских работ, 
выполненных ее сотрудниками, и инновационного потенциала дан- 
ной организации в профильной научной области. Результатами такой 
диагностики должно стать совершенствование внутреннего управ- 
ления, уточнение ключевых преимуществ и научной специализации 
оцениваемой организации и четкое понимание ее инновационного 
потенциала. 

Для общей оценки научной производительности привлекаются ки- 
тайские эксперты, которые выносят обоснованное мнение о текущей 
научной производительности организации в сопоставлении с целями, 
заявленными в пятилетнем плане. В рамках этой процедуры экспер- 
там предоставляются обширные данные количественного анализа (в 
частности, по таким индикаторам, как объемы финансирования, дви- 
жение персонала, ключевые научно-технические результаты, патент- 
ная активность, значимые награды, международный обмен и коопера- 
ция ИТ. д.). Итоги оценок определяют принятие дальнейших решений 
об объемах выделения финансирования на проведение оцениваемой 
научной организацией новых НИОКР или о предоставлении ей дру- 
гих ресурсов. 
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В США на государственном уровне общих подходов к оценке ре- 
зультативности научных организаций или отдельных ученых не су- 
ществует; вместо этого оцениваются результаты реализации научных 
программ. Данное положение дел связано с тем, что средства феде- 
рального бюджета США распределяются на конкурсной основе через 
систему федеральных контрактов и грантов, выделяемых в большей 
степени частным промышленным корпорациям и другим организа- 
циям негосударственной формы собственности, чем федеральным 
лабораториям и исследовательским центрам [13]. Таким образом, 
широкое использование федеральных контрактов и грантов является 
ключевым аспектом научно-технологической системы США [14], и 
именно из-за этой особенности система БОР не получила распростра- 
нения в США. 

Законом США «Об оценке результатов деятельности государ- 
ственных учреждений» (СоуегитепЕ Реоппапсе ап@ Кези Ас) 
предусмотрено, что по итогам реализации государственной програм- 
мы в каждом году агентства, ответственные за реализацию программ, 
готовят отчеты об их исполнении, предоставляемые Президенту и 
Конгрессу США. Отчеты составляются по результатам выполнения 
программы в предыдущем финансовом году и представляют собой 
сравнение показателей эффективности, установленных в ежегодном 
исполнительном плане, с реально достигнутыми показателями. 

Данные показатели могут варьироваться в зависимости от ведом- 
ства и конкретной программы. К основным ведомствам США, осу- 
ществляющим деятельность в сфере НИОКР, относятся: Министер- 
ство обороны, Министерство здравоохранения и социальных служб, 
включая Национальные институты здоровья, Национальное управле- 
ние по воздухоплаванию и исследованию космического пространства, 
Министерство энергетики, Национальный научный фонд, Министер- 
ство внутренней безопасности, Министерство сельского хозяйства, 
Министерство торговли, Министерство образования, Агентство по 
охране окружающей среды, Министерство транспорта. 

В целом методы оценки эффективности научных программ, су- 
ществующие в США, можно разбить на следующие категории: 

—  библиометрический анализ (публикации, патенты, цитиру- 
емость); 

— — метод бенчмаркинга (сопоставительный анализ на основе эта- 
лонных показателей); 

— анкетирование и опросы; 

— фокус группы; 

— интервью; 

— экспертные панели; 

— тематические исследования; 

— “отслеживание коммерциализации технологии; 

— выстраивание исторической ретроспективы; 

— — анализ социальных сетей [15, 16]. 
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Предложения по развитию системы оценки результативности 
научной и научно-технической деятельности 
в Российской Федерации 


Порядок функционирования ФСМНО и процедура оценки резуль- 
тативности деятельности научных организаций определены в поста- 
новлении Правительства Российской Федерации от 8 апреля 2009 г. 
№ 312 (ред. от 29.12.2016) [17]. В основу ФСМНО и системы оценки 
был заложен количественный подход, базирующийся на ряде показа- 
телей, совокупность которых составляет следующие блоки: 

результативность и востребованность научных исследований; 

— развитие кадрового потенциала; 

— интеграция в мировое научное пространство, распростране- 
ние научных знаний и повышение престижа науки; 

—  ресурсное обеспечение деятельности научной организации. 

Сама процедура оценки включает следующие стадии: 
сбор сведений по перечню из более 70 сводных и детализиро- 
ванных показателей, которые объединены в соответствующие 
группы (перечень показателей утвержден приказом Минобр- 
науки России от 5 марта 2014 г. № 162 (ред. от 03.03.2016) 
(Приказ № 162) [18]); 

— распределение организаций по 156 референтным группам 
согласно направлениям научных исследований (всего 39 на- 
правлений) и профилю деятельности (четыре профиля: «Гене- 
рация знаний», «Разработка технологий», «Научно-техничес- 
кие услуги», «Особый»)“; 

— определение интегральных показателей результативности и 
установление их средних значений для референтных групп ор- 
ганизаций; 

— сравнение фактических значений интегральных показателей 
организаций с пороговыми значениями и отнесение организа- 
ции к одной из трех категорий: 

1-я категория: научные организации — лидеры; 

2-я категория: стабильные научные организации, демонстрирую- 

щие удовлетворительную результативность; 

3-я категория: научные организации, утратившие научный про- 
филь и перспективы развития. 

ЕГИСУ НИОКТР является единой базой данных о научно-иссле- 
довательских и опытно-конструкторских работах, выполняемых за 
счет бюджетных средств. В указанной системе содержится инфор- 
мация о более чем 5 000 организаций, об 1,3 млн проектов, которые 
были выполнены этими организациями, о 750 тыс. диссертациий, 





4 Согласно Приложению 1 к протоколу заседания Межведомственной комиссии по 
оценке результативности деятельности научных организаций от 14 января 2016 г. 
№ ДЛ-2/14пр. 9ВГ: Бир://мууу.залепсетоп.гаЛезалтео41с/ргоюКо]-тук-2016- 
01-14/, дата обращения: 10.12.2017. 
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о более 50 000 охраноспособных результатов интеллектуальной 
деятельности, сведения о состоянии правовой охраны результа- 
тов интеллектуальной деятельности и сведения об использовании 
результатов интеллектуальной деятельности ЕГИСУ НИОКТР 
обеспечивает реализацию функций Российской академии наук по 
экспертизе научных и научно-технических результатов в соответ- 
ствии с постановлением Правительства Российской Федерации 
от 14 ноября 2014 г. № 1195 [19]. ЕГИСУ НИОКТР дает возможность 
проводить качественную оценку результатов научно-исследова- 
тельских, опытно-конструкторских и технологических работ, полу- 
чать данные о востребованности результатов интеллектуальной дея- 
тельности, проводить оценку коллективов в разрезе опыта по успеш- 
ному выполнению НИР/НИОКТР сопоставимого характера и объема. 

Существующие подходы к оценке научной, научно-технической 
деятельности, применяемые в ФСМНО и ЕГИСУ НИОКТР, обладают 
следующими недостатками, которые негативно сказываются на ито- 
говых результатах. 

1. Целевое назначение ФСМНО и ЕГИСУ НИОКТР в контексте 
государственной научно-технической политики остается неопреде- 
ленным. Это приводит к тому, что результаты оценки деятельности 
научных организаций не вплетены в систему управления наукой, не 
являются критериями при принятии управленческих решений на фе- 
деральном уровне (например, при установлении, продлении, прекра- 
щении статусов для научных организаций и вузов). 

2. ФСМНО ориентирована исключительно на анализ наукометри- 
ческих данных и не связана со специализированной государственной 
системой учета непосредственно научных исследований и разработок 
и их результатов ЕГИСУ НИОКТР, позволяющей провести эксперти- 
зу содержательной научной составляющей. 

3. Методическая составляющая ФСМНО требует совершенствова- 
ния, а достоверность содержащихся в этой системе данных должна 
быть проверена. 

4. Технически в ФСМНО в настоящий момент не представляется 
возможным учитывать значения показателей по каждому из направ- 
лений исследований и разработок (39 направлений исследований), к 
которым организация себя относит, хотя такая возможность заложена 
в Приказе № 162. Данное обстоятельство приводит к некорректности 
как в расчетах значений интегральных показателей научных органи- 
заций, так и в проводимой по направлениям исследований оценке ре- 
зультативности деятельности научных организаций. 

5. В системе ФСМНО агрегируются данные только по научным 
и образовательным организациям государственного сектора науки, 
что составляет менее 50% организаций, осуществляющих исследо- 
вания и разработки. В силу отсутствия сведений о научной и научно- 
технической деятельности предпринимательского сектора формиру- 
ется недостоверная картина развития научно-технического комплекса 
в РФ. 
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В сравнении с подходами к оценке научной и научно-технической 
деятельности за рубежом, система оценки в РФ находится на началь- 
ном этапе развития. В связи с принятием Стратегии научно-техноло- 
гического развития РФ (утверждена указом Президента Российской 
Федерации от 1 декабря 2016 г. № 642 (СНТР) [20] и рассмотрением 
науки как главного источника социально-экономического развития, 
модернизация системы оценки научной деятельности предполагает 
переход распорядителей бюджетных средств к модели «квалифици- 
рованного заказчика» и проведение следующих методов оценки ре- 
зультативности деятельности научных организаций: в ходе отбора до 
реализации проекта (ех аще); в ходе реализации проекта (п-егт); 
по фактическим результатам (ех роз). Данный подход широко расп- 
ространен в КНР и может быть перенят для совершенствования оте- 
чественной системы оценки результативности научной деятельности. 

В целом система оценки результативности научной деятельности 
необходима: 

— для оперативного (в режиме мобилизации) формирования 
сборных научных коллективов (команд) в целях решения 
актуальных научно-технических задач государственного 
значения, реализации комплексных научно-технических 
программ в рамках СНТР; 

— непрерывной оценки компетенции, квалификации исследова- 
телей, научных коллективов и организаций при принятии 
решения о поддержке научных исследований в рамках конкур- 
сов на получение грантов научных фондов и институтов раз- 
вития, на выполнение федеральных целевых программ, иных 
программ и проектов с конкурсным отбором участников 
(необходима информационная связка системы оценки резуль- 
тативности научной деятельности с конкурсными система- 
ми фондов, институтов развития, порталом ГаКарК1.еоу.га, 
ведомственными информационными системами управления 
государственным заданием в сфере науки и др.); 

— оценки эффективности науки, выражающейся в социально- 
экономическом вкладе науки (например, по отраслям эконо- 
мики); обоснования выделения дополнительных объемов бюд- 
жетных средств на приоритетные направления, конкрет- 
ные задачи; 

— отслеживания карьерного роста исследователей, талантливой 
молодежи (через индивидуальные профили исследователей, 
их организации-работодатели) и разработки адресных мер 
поддержки кадрового потенциала; 

— определения дефицитных компетенций/заделов, которые не- 
обходимо развивать/наращивать в российской науке. 

Большинство стран ЕС перешли на системы финансирования 
исследований и разработок, основанные на результативности дея- 
тельности научных организаций. Количественная и качественная 
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информация, содержащаяся в ФСМНО и ЕГИСУ НИОКТР, должна 
использоваться при оценке квалификации претендентов на финанси- 
рование НИР/НИОКТР из средств федерального бюджета и при при- 
нятии решений, связанных с корректировкой мероприятий и объемов 
финансирования. ФСМНО и ЕГИСУ НИОКТР предполагают воз- 
можность введения элементов контроля за эффективностью расходо- 
вания бюджетных средств на НИОКР еще на стадии распределения 
финансов между научными организациями: организации, имеющие 
лучшие показатели результативности, должны получать пропор- 
ционально больше государственных субсидий. Таким образом, ре- 
зультаты количественных оценок на основе данных ФСМНО и экс- 
пертного анализа содержащихся в ЕГИСУ НИОКТР отчетов о НИР 
должны быть напрямую связаны с выбором лидеров научного со- 
общества, дальнейшими решениями об объемах финансирования 
НИР или о предоставлении других ресурсов оцениваемой организа- 
ции, коллективу или ученому. 

Текущий курс научно-технической политики в России в явной 
степени ориентирован на достижение количественных показате- 
лей. Однако, например, существенное увеличение доли российских 
публикаций в международных библиометрических базах данных яв- 
ляется необходимым, но недостаточным свидетельством успешного 
развития всей науки. В настоящее время квалифицированная экс- 
пертиза проводится в рамках отдельных инструментов поддержки 
научной деятельности (гранты научных фондов, государственное за- 
дание, федеральные целевые программы и т. д.). Зарубежный опыт 
подтверждает необходимость и целесообразность более широкого 
использования экспертного анализа, причем именно на основе ин- 
формации, предоставленной объектом оценки. Количественные по- 
казатели и рассчитанные на их основе индикаторы будут являться 
дополнительной информацией при проведении экспертной оценки. 
Дополнительные качественные характеристики достигнутых науч- 
ных результатов и содержательная информация могут быть импор- 
тированы из ЕГИСУ НИОКТР, которая агрегирует регистрационные 
карты научно-исследовательских, опытно-конструкторских и техно- 
логических работ, а также информационные карты результатов ин- 
теллектуальной деятельности, создаваемых в ходе выполнения таких 
работ. Содержательная оценка регистрируемых в ЕГИСУ НИОКТР 
научно-исследовательских отчетов, проводимая Российской академи- 
ей наук, в этом случае приобретает существенное значение. 

Зарубежный опыт (в частности, схема КНР «Один-три-пять») 
убедительно демонстрирует первостепенное значение решения ре- 
альных социально-экономических задач. В отечественной практи- 
ке такие задачи носят декларативный характер и не ставятся перед 
конкретными научными организациями. Планы решения социально- 
экономических задач могли бы стать фундаментом процесса оценки 
деятельности научных организаций. При этом подобного рода задачи 
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могут быть предложены самими организациями (в случае поисковых 
фундаментальных исследований) либо поставлены компетентными 
государственными органами, государственными корпорациями и экс- 
пертными советами стратегических государственных программ (для 
ориентированных фундаментальных и прикладных исследований), 
советами по приоритетным направлениям научно-технологического 
развития, бизнес-партнерами. В любом случае процесс установления 
задачи должен происходить при активном участии и заказчика, и ис- 
полнителя. Если постановка реальной социально-экономической за- 
дачи по объективным причинам невозможна, то схема сопоставления 
результативности деятельности научных организаций на базе рефе- 
рентных групп выглядит предпочтительной по сравнению с осталь- 
ными возможными вариантами (межвременной наукометрический 
анализ, нерегламентированная и кулуарная экспертная оценка ит. п.). 

Российские научные организации и вузы в течение года обязаны 
предоставить сведения о научной деятельности различным инстан- 
циям (ФСМНО, Росстат (форма № 2-наука), ведомственные системы 
сбора информации и т. д.). Перечни предоставляемых показателей 
во многом пересекаются, хотя имеют свою специфику. Такой плюра- 
лизм приводит к неоправданному увеличению бюрократической на- 
грузки на организации и к несопоставимости отчетной информации 
из-за различных методических рекомендаций по заполнению иден- 
тичных показателей. Разработка единого методического подхода на 
основе Руководства Фраскати [21] при заполнении форм статистичес- 
кого наблюдения позволила бы решить обозначенные проблемы, а 
также существенно упростила бы сам процесс сбора информации и 
ее обработки. В качестве основы предлагается использовать форму 
Росстата № 2-наука, дополнив ее показателями, необходимыми для 
измерения результативности научной деятельности. 

Научные работники также обременены внесением идентичных 
данных в различные информационные системы. Процедуры участия 
в конкурсах на получение гранта научных фондов, на выполнение 
федеральных целевых программ, государственного задания, а также 
процедуры прохождения аттестации требуют заполнения практичес- 
ки одинаковых форм, что приводит к значительной трате временных 
ресурсов. 

Создание в рамках ФСМНО информационной системы, предусмат- 
ривающей формирование и обновление личных профилей самими 
учеными и дополненной возможностью импортирования информа- 
ции из наукометрических баз данных, обеспечило бы высокую досто- 
верность информации. Профили научных организаций и ученых, со- 
держащиеся в такой системе, могут послужить главным источником 
информации при создании автоматизированной системы идентифи- 
кации исследователей и организаций. Кроме того, на основе указан- 
ных профилей будет возможно создать единообразную форму подачи 
заявок, благодаря чему ученые будут избавлены от трудоемких и од- 
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нотипных обязанностей. Важным дополнительным преимуществом 
внедрения таких профилей следует считать уникальную возможность 
создания кадрового реестра российской науки, который может быть 
использован как для получения необходимой статистической инфор- 
мации и выбора мер научно-технической политики, так и, например, 
при составлении корпуса экспертов. 

Информационная связка данных ФСМНО, ЕГИСУ НИОКТР и про- 
филей научных организаций и ученых (рисунок 3) позволит прово- 
дить анализ большого количества сведений, который невозможен без 
перехода к современным моделям статистического наблюдения, а 
также анализу и оценке экономической и социальной эффективнос- 
ти научной, научно-технической и инновационной деятельности. 
Применение методов искусственного интеллекта в анализе больших 
данных позволит использовать максимальное количество показате- 
лей при оценке результатов деятельности проводящих исследования 
и разработки организаций, выявит влияние частных показателей на 
конечный результат их научно-технической и инновационной дея- 


тельности. 
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Рисунок 3. ФСМНО как агрегатор информации 0 научно-исследовательской 
деятельности и инструмент оценки результативности 


Таким образом, развитие системы мониторинга и оценки науч- 
ной, научно-технической деятельности организаций, проводящих ис- 
следования и разработки, предполагает решение следующих задач: 
определение места и роли представленных информационных систем 
в системе государственного управления, научно-технической поли- 
тики; создание системы целеполагания для научных организаций; 
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формирование эффективного механизма сбора данных о научной 
деятельности. В целом создание эффективной системы оценива- 
ния обеспечит объективный анализ результативности деятельности 
научных организаций, приведет к повышению качества принима- 
емых управленческих решений в сфере науки и увеличит эффектив- 
ность системы организации исследований и разработок. 
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